伤口图像分割是伤口临床诊断和时间治疗的关键成分。最近，深度学习已成为伤口图像分割的主流方法。但是，在训练阶段之前，需要进行伤口图像的预处理，例如照明校正，因为可以大大提高性能。校正程序和深层模型的训练是彼此独立的，这导致了次优的分割性能，因为固定的照明校正可能不适合所有图像。为了解决上述问题，本文提出了一种端到端的双视分段方法，通过将可学习的照明校正模块纳入深度细分模型中。可以在训练阶段自动学习和更新模块的参数，而双视融合可以完全利用RAW图像和增强图像的功能。为了证明拟议框架的有效性和鲁棒性，在基准数据集上进行了广泛的实验。令人鼓舞的结果表明，与最先进的方法相比，我们的框架可以显着改善细分性能。

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

Non-IID data distribution across clients and poisoning attacks are two main challenges in real-world federated learning systems. While both of them have attracted great research interest with specific strategies developed, no known solution manages to address them in a unified framework. To jointly overcome both challenges, we propose SmartFL, a generic approach that optimizes the server-side aggregation process with a small clean server-collected proxy dataset (e.g., around one hundred samples, 0.2% of the dataset) via a subspace training technique. Specifically, the aggregation weight of each participating client at each round is optimized using the server-collected proxy data, which is essentially the optimization of the global model in the convex hull spanned by client models. Since at each round, the number of tunable parameters optimized on the server side equals the number of participating clients (thus independent of the model size), we are able to train a global model with massive parameters using only a small amount of proxy data. We provide theoretical analyses of the convergence and generalization capacity for SmartFL. Empirically, SmartFL achieves state-of-the-art performance on both federated learning with non-IID data distribution and federated learning with malicious clients. The source code will be released.

本文介绍了无监督的联合学习框架FEDX。我们的模型从分散和异质的局部数据中学习无偏的表示。它采用对比度学习作为核心组件的双面知识蒸馏，使联合系统可以在不要求客户共享任何数据功能的情况下运行。此外，它的适应性体系结构可以用作联合设置中现有无监督算法的附加模块。实验表明，我们的模型可显着提高五种无监督算法的性能（1.58--5.52pp）。

我们考虑了个性化新闻推荐的问题，每个用户都以顺序消费新闻。现有的个性化新闻推荐方法的重点是利用用户兴趣，而忽略了推荐中的探索，从而导致反馈循环并长期损害了建议质量。我们基于上下文土匪推荐策略，自然可以解决剥削 - 探索权衡取舍。主要挑战是探索大规模项目空间并利用不确定性的深层表示的计算效率。我们提出了一个两阶段的分层主题，新的深层上下文强盗框架，以在有许多新闻项目时有效地学习用户偏好。我们为用户和新闻使用深度学习表示形式，并将神经上限限制（UCB）策略推广到广义添加剂UCB和BILINEAR UCB。大规模新闻建议数据集的经验结果表明，我们提出的政策是有效的，并且表现优于基线匪徒政策。

垂直联合学习（VFL）是一种隐私的机器学习范式，可以从以隐私性的方式从不同平台上分布的功能学习模型。由于在实际应用程序中，数据可能包含对公平敏感特征（例如性别）的偏见，因此VFL模型可能会从培训数据中继承偏见，并对某些用户组变得不公平。但是，现有的公平ML方法通常依赖于对公平敏感特征的集中存储来实现模型公平，通常在联合场景中不适用。在本文中，我们提出了一个公平的垂直联合学习框架（FAIRVFL），可以改善VFL模型的公平性。 FAIRVFL的核心思想是根据分散的特征字段以隐私的方式学习样本的统一和公平表示。具体而言，每个具有不敏感功能的平台首先从本地功能中学习本地数据表示。然后，将这些本地表示形式上传到服务器，并将其汇总到目标任务的统一表示形式中。为了学习公平的统一表示形式，我们将它们发送到每个平台存储公平性敏感的功能，并应用对抗性学习，以从偏见的数据继承的统一表示形式中消除偏见。此外，为了保护用户隐私，我们进一步提出了一种对抗性对手学习方法，以从服务器中的统一表示形式中删除隐私信息，然后再将其发送到保持对公平敏感功能的平台。在两个现实世界数据集上进行的实验验证了我们的方法可以通过用户隐私受到良好保护有效地改善模型公平性。

联合学习（FL）是以隐私性的方式从分散数据培训全球模型的重要范例。现有的FL方法通常假定可以对任何参与客户端进行培训。但是，在实际应用中，客户的设备通常是异质的，并且具有不同的计算能力。尽管像伯特这样的大型模型在AI中取得了巨大的成功，但很难将它们应用于弱客户的异质FL。直接的解决方案（例如删除弱客户端或使用小型模型适合所有客户端）将带来一些问题，例如由于数据丢失或有限的模型表示能力而导致的掉落客户端的代表性不足和劣等精度。在这项工作中，我们提出了一种包含客户的联合学习方法，以解决此问题。包容性FL的核心思想是将不同尺寸的模型分配给具有不同计算功能的客户，为功能强大的客户提供的较大模型以及针对弱客户的较小客户。我们还提出了一种有效的方法，可以在多个具有不同大小的本地模型之间共享知识。这样，所有客户都可以参与FL中的模型学习，最终模型可以足够大。此外，我们提出了一种动量知识蒸馏方法，以更好地转移强大客户的大型模型中的知识，向弱客户的小型模型。在许多实际基准数据集上进行的广泛实验证明了该方法在FL框架下使用异质设备的客户学习准确模型的有效性。

如今，由于自然语言生成（NLG）的突破，包括机器翻译，文件摘要，图像标题等NLG模型已被封装在云API中，以满足全球半十亿人，并每次超过一百亿字代工程日。因此，NLG API已经成为许多商业公司中的必不可少的盈利服务。由于财务和智力投资的大量资金，服务提供商采用支付减薪政策，以促进可持续的市场增长。然而，最近的作品表明，云平台遭受了模型提取攻击所施加的财务损失，这旨在模仿受害者服务的功能和效用，从而违反了云API的知识产权（IP）。这项工作通过识别从受害者NLG API中使用水印反应的攻击者来保护NLG API的IP。然而，大多数现有的水印技术不直接适用于NLG API的IP保护。为了弥合这一差距，首先通过对原始输出进行词法修改，为文本生成API提供一种新的水印方法。与竞争性基线相比，我们的水印方法在P值方面实现了更好的可识别性能，具有较少的语义损失。此外，我们的水印比基线更易于理解和直观。最后，实证研究表明我们的方法也适用于来自不同域的疑问，并且对攻击者有效地培训的攻击者，这些攻击者包括少于10℃的水印样本。

变形金刚是文本理解的强大模型。然而，由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法，但它们仍然效率低于长序列或不够有效。在本文中，我们提出了FastFormer，即基于添加剂关注的高效变压器模型。在FastFormer中，我们首先使用添加剂注意机制来模拟全局上下文，而不是在令牌之间建模的成对相互建模，而不是建模。然后，基于与全局上下文表示的交互，进一步转换每个令牌表示。以这种方式，FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明，FastFormer比许多现有的变压器模型更有效，同时可以实现可比或甚至更好的长文本建模性能。

变形金机对文本建模很重要。但是，由于输入文本长度的二次复杂性，它难以处理长文件。为了处理这个问题，我们提出了一种分层交互式变压器（高变压器），用于高效且有效的长文档建模。高变压器模型以分层方式模型，即首先了解句子表示，然后学习文档表示。它可以有效地降低复杂性，同时在每个句子的建模中捕获全局文档上下文。更具体地说，我们首先使用句子变压器来学习每个句子的表示。然后我们使用文档变形器从这些句子表示中模拟全局文档上下文。接下来，我们使用另一个句子变换器来使用全局文档上下文增强句子建模。最后，我们使用分层汇集方法获取文档嵌入。三个基准数据集的广泛实验验证了长文档建模中高变压器的效率和效力。